Cuối thập niên 1940, Đại đức Narada Maha Thera sang Việt Nam thuyết giảng giáo lý Nam tông. Khi đến Vũng Tàu, Sư được tháp tùng bởi ông Lê Quang Vinh, một công chức cao cấp trong chính quyền thực dân Pháp, đưa đi thăm viếng các nơi. Khi đến vùng Núi Lớn, Sư từng có ý kiến xây dựng một ngôi chùa tại vùng này.[1]

Vào khoảng năm 1957, ông Lê Quang Vinh, bấy giờ đã hồi hưu, đã về đây khai phá vùng đất hoang vu ở bên sườn núi Lớn. Vào thời điếm này, nơi đây ít cư dân sinh sống mặc dù đã có đường trải nhựa từ Bến Đình đến Bến Đá. Ông cho dựng một ngôi chùa đơn sơ dưới chân Núi Lớn để tu hành, gọi là Thiền Lâm tự. Ông xuất gia và lấy pháp danh là Thích Giác Pháp.[1]

Năm 1960, khi trở lại Việt Nam giảng pháp, Đại đức Narada Maha Thera đã viếng núi Lớn và đã trồng tại đây một cây Bồ đề từ một cây con ở cố đô Anuradhapura nước Tích Lan, gốc chiết từ cây Bồ đề ở Bồ Đề Đạo tràng Ấn Độ. Bấy giờ Giáo hội Tăng Già Nguyên Thủy Việt Nam đã cho trùng tu ngôi chùa Thiền Lâm, đồng thời cho cất một trai thất nhỏ dành riêng cho Đại đức Narada Maha Thera mỗi khi Sư lưu lại đây. Trong một lần lưu lại chùa Thiền Lâm, Sư góp ý nên xây dựng một bảo tháp để tôn thờ Xá lợi.[2]

Đầu năm 1961, Giáo hội Tăng Già Nguyên Thủy Việt Nam đã tổ chức vận động quyên góp tài chính để xây dựng một khu Bảo tháp xá lợi và vườn tượng quảng diễn cuộc đời của Đức Phật. Trong quá trình vận động, nhiều tăng ni, Phật tử đã góp ý xây dựng bổ sung thêm Thích Ca Phật Đài. Ý kiến này được nhiều Phật tử ủng hộ và đóng góp thêm tài chính. Cư sĩ khảo cổ Hồ Đắc Thăng được cử làm lãnh đạo thực hiện công trình. Việc tạo tác tượng được giao cho nghệ nhân Bùi Văn Thêm, hiệu Phúc Điền, thực hiện. Học trò ông Phúc Điền là Hoàng Gia Thuận được giao đảm trách khâu mỹ thuật ở công trường.[3]

Lễ đặt viên đá đầu tiên được tiến hành tại Bảo tháp ngày 4 tháng 6 năm 1961. Lễ khởi công xây dựng được tổ chức vào ngày 20 tháng 7 năm 1961. Sau 19 tháng thi công, lễ khánh thành được tổ chức trọng thể vào hai ngày 9 và 10 tháng 3 năm 1963 (tức ngày 14 và Rằm tháng 2 năm Quý Mão).[4]

Năm 1970, chùa Hộ pháp được xây dựng.

Năm 1989, cụm kiến trúc Thích Ca phật Đài được Bộ Văn hóa Thông tin xếp hạng di tích cấp Quốc gia.[5]

Từ năm 1975, ban đầu, khu kiến trúc có thu vé tham quan. Nhưng từ năm 2001, du khách có thể đến thăm tự do.